Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems论文

• 论文下载地址
  • Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems

概述

这篇文章写怎么让生成式大语言模型（比如 GPT、LLaMA 这些）跑得又快又省资源，从算法和系统两个层面总结了现有方法、工具和未来方向

本文主要聚焦与GPU，虽然我是聚焦边缘端推理的，但是可以学习一下。

一、核心背景：大模型好用但 “难伺候”

生成式大语言模型特别厉害，能做翻译、写文案、答问题甚至编程，但有个大问题：部署的时候特别 “费钱费资源”。

• 要么反应慢（ latency 高），实时聊天、智能助手这些场景用着卡；
• 要么占内存大（模型参数多），普通设备根本装不下；
• 要么处理不了太多请求（吞吐量低），多人同时用就崩；
• 还得在 “跑得够快” 和 “回答够准” 之间找平衡，不能顾此失彼。

二、解决思路：从 “算法” 和 “系统” 两方面优化

就像给大模型 “瘦身提速”，分两大方向下手，双管齐下：

1. 算法层面：改模型 “做事逻辑”，让它少走弯路

• 优化解码方式：比如不用逐字生成（非自回归解码）、先猜后验证（投机解码），或者简单问题早结束计算（提前退出），省时间；
• 简化模型结构：比如减少注意力计算的复杂度、让不同层共享计算结果，或者只激活部分 “专家模块”（MoE 架构），少做无用功；
• 给模型 “瘦身”：比如把大模型的知识 “蒸馏” 给小模型、剪掉没用的参数（剪枝），让模型变轻巧。

2. 系统层面：优化 “运行环境”，让硬件物尽其用

• 降低精度存储：用更少的比特（比如 INT8、INT4）存储模型参数，不怎么影响效果还省内存；
• 多设备并行计算：把模型拆去多个 GPU / 设备（模型并行、序列并行），或者用云服务器、分布式设备分担压力；
• 智能管理内存：比如给缓存 “分页”（PagedAttention），避免内存浪费，还能把暂时不用的数据放到 CPU / 硬盘，缓解 GPU 内存压力；
• 合理安排请求：比如把相似请求打包处理（动态批处理）、给紧急请求优先权限，提升整体处理效率；
• 优化计算核心：定制专门的计算逻辑（核函数融合、定制注意力计算），让 GPU 跑得更高效。

三、实用工具和评估：现有框架和怎么比好坏

• 主流框架：比如 vLLM（靠分页缓存提吞吐量）、TensorRT-LLM（NVIDIA 的，支持多并行）、FlexGen（单 GPU 也能跑大模型），各有侧重；
• 评估难题：目前还没有统一的 “跑分标准”，因为模型、硬件、请求量不同，很难公平对比，需要考虑 latency、吞吐量、成本等多方面。

四、未来方向：接下来重点研究啥

• 定制硬件：设计更适配大模型的芯片，让计算和存储离得更近，跑得更快；
• 更高效解码：比如优化投机解码，让 “猜测” 更准、验证更快；
• 支持超长文本：解决长文档处理时的内存和计算压力，避免 “记不住中间内容”；
• 新模型架构：探索替代 Transformer 的结构，找更高效的计算方式；
• 复杂环境部署：比如在边缘设备、分布式网络上部署，兼顾速度和成本；
• 自动适配需求：让模型能根据不同场景（比如多轮对话、推理任务）自动优化。

论文中提取的有用信息

因为作者本人是边缘推理编译器开发人员， 所以只从论文中提取对我来说有价值的信息，浓缩收集整理在下面。

1. 概要

主要是围绕：

The primary objective of this survey is to provide a comprehensive overview of the latest advancements in LLM serving and inference. We will systematically review and categorize the existing techniques based on their underlying approaches, highlighting their strengths and limitations. The survey will cover a broad range of methodologies, encompassing decoding algorithm, architecture design, model compression, low-bit quantization, parallel computation, memory management, request scheduling, and kernel optimization.

2. 主要的模型结构

• 注意力结构

• Feed-Forward Network(FFN)

以上结构目前基于transform结构的主要的挑战有：

1. 延迟和相应时间
   1. 需要优化算法和系统架构
2. 内存占用和模型大小
   1. 模型压缩 & 系统优化
3. 可扩展性和吞吐量
   1. 并行计算， 请求调度
4. 准确性和效率之间平衡

3. 其他边缘端设备的一些论文

关于背景描述这块，我们还可以关注其他的边缘端设备的一些论文 ：

• TPUs [157 ],

• FPGAs [ 336 ],

• mobile and edge devices [79],

• ASICs [ 239 , 367 ]

• other emerging AI chips from various manufacturers (e.g., Apple M2 Ultra [172], AWS Inferentia [6], SambaNova [28], Cerebras [81], Graphcore IPUs [ 16])

要不要我帮你导出这份包含边缘端设备论文的完整 Excel 表格，方便你按设备类型筛选、整理相关研究，或补充其他备注信息？

4. 算法优化之非自回归相关的论文

• 非自回归解码的综述论文
  • A thorough survey on non-autoregressive translation [ 319 ]
• 非自回归解码相关的论文
  • Non-autoregressive decoding [ 110, 117 , 122 ]
• 半自回归解码
  • semi-autoregressive decoding [ 111],
  • 迭代优化输出标记
    • teratively refining output tokens [173 ].
  • 对输出依赖关系进行建模
    • modeling output dependencies [ 118 , 347]
  • 块级并行解码
    • Blockwise parallel decoding [ 272 ]
  • 并行解码
    • Parallel decoding [257 ]